Triệu Lệ phi xuất thân là người quận Thiên Thủy, là con gái người đánh nhạc Triệu Nguyên Lễ (赵元礼), xuất thân hát xướng rất thấp hèn trong xã hội lúc bấy giờ. Bà ca hay múa đẹp, nhan sắc hơn người, về sau trở thành kỹ nữ danh tiếng ở Lộ Châu. Trong niên hiệu Cảnh Long (708 - 710) dưới thời Đường Trung Tông, Lý Long Cơ lúc đó là Lâm Tri vương (臨淄王), được phái đến Lộ Châu làm chức Biệt giá. Thời gian làm quan tại đây, Long Cơ gặp Triệu thị vô cùng sủng ái, cưới về làm thiếp.

Vào năm Cảnh Long thứ 4 (710), Đường Trung Tông bị 2 mẹ con Vi hoàng hậu và An Lạc công chúa ám sát ý định dùng binh xưng đế[1], triều đình nhà Đường đại loạn, Lý Long Cơ liên kết với cô mẫu là Thái Bình công chúa phát động binh biến, tấn công vào kinh thành Trường An, xử tử mẹ con Vi Thái hậu, Thượng Quan Chiêu dung và phe cánh[2]. Sau khi bình định phản loạn, Long Cơ đưa cha mình là Lý Đán lên ngôi, tức Đường Duệ Tông, còn Lý Long Cơ được lập làm Hoàng thái tử[1]. Với thân phận là sủng thiếp của Thái tử, cha và anh ruột Triệu Thường Nô (趙常奴) của Triệu thị được Long Cơ cất nhắc, ban cho chức quan trong triều. Lúc này Triệu thị đã sinh con trai thứ hai cho Lý Long Cơ, đặt tên Lý Tự Khiêm (李嗣謙), được Long Cơ phong làm Chân Định quận vương (真定郡王)[3].

Năm Cảnh Vân thứ 3 (712), Đường Duệ Tông lập chiếu nhường ngôi, Thái tử Long Cơ đăng cơ, sử gọi Đường Huyền Tông. Triệu thị được phong Lệ phi (麗妃), hàm Chính nhất phẩm, chỉ đứng sau Hoàng hậu Vương thị, còn Lý Tự Khiêm được phong Dĩnh vương (郢王). Năm Khai Nguyên thứ 3 (715), Đường Huyền Tông muốn lập Thái tử. Mặc dù Đàm vương Lý Tông (李琮), con trai của Lưu Hoa phi là Hoàng trưởng tử, nhưng vì sủng ái Triệu Lệ phi nên Huyền Tông vẫn chọn phong Dĩnh vương Lý Tự Khiêm làm Thái tử[4].